映像検索方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体
【課題】ショットと呼ばれる映像を対象とする映像検索における類似映像の検索精度を向上させ、ラベル種別のみの処理による高速化を実現する。
【解決手段】本発明は、入力された映像の内容が変化した点で入力された映像をショットに分割し、ショットから主な領域の特徴量である構図情報（当該領域の位置、大きさ、模様の複雑さ、色特徴、移動量等）を抽出し、構図情報に基づいてショットを分類し、その分類カテゴリ結果に基づいて、入力された例示映像区間とショットの類似度を算出し、類似度に基づいて映像区間を出力する。
【解決手段】本発明は、入力された映像の内容が変化した点で入力された映像をショットに分割し、ショットから主な領域の特徴量である構図情報（当該領域の位置、大きさ、模様の複雑さ、色特徴、移動量等）を抽出し、構図情報に基づいてショットを分類し、その分類カテゴリ結果に基づいて、入力された例示映像区間とショットの類似度を算出し、類似度に基づいて映像区間を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像検索方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体に係り、特に、映像の制作方法に着目した映像区間の特徴記述方法、及び、それを用いて複数のショットからなる映像区間の検索を行う映像検索方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
近年、デジタル放送やケーブルテレビの普及に伴い、様々なジャンルの映像データを入手することが、個人でも容易になっている。加えて、ＨＤＤ、蓄積メディアの進歩に伴い、映像データを、ハードディスク、ＤＶＤ等に大量に蓄積し、個人の都合にあった時間に、視聴するスタイルが定着してきている。
【０００３】
その一方で、記録蓄積された映像データが増えれば増えるほど、膨大な映像データの中から、特定のイベントシーンのような、複数のショットで１つの意味（行為）となる映像区間を探し出すことは困難である。それに伴い、大量の映像内容を解析し、ユーザの所望する映像区間の検索を行う技術が注目を集めている。
【０００４】
従来の映像区間検索方法の多くは、予め定められたイベントを対象とし、定義されたイベントに含まれる特徴を事前に学習することでイベントを高精度に検索する技術がある（例えば、非特許文献１参照）。
【０００５】
学習を用いないアプローチとしては、従来の画像検索で用いられる例示に基づく手法がある。この方法は、ユーザが予め所望する映像と類似する映像を用意し、その映像に含まれる特徴量から、ユーザが所望する映像を探し出す方法である。例示に基づく方法は、イベントを固定しないため、様々な検索要求（種々のイベント）に柔軟に対応することができるという特徴がある。
【０００６】
例示に基づく手法の一つに、映像特徴量の時系列特徴に着目する映像検索方法がある。例えば、ＭＰＥＧストリームの各Intra(フレーム内符号)フレームのＤＣ成分を用い、フレームの平均色情報を求め、３次元の色空間に配置し、その軌跡を時間軸に投影し、波形情報に変換し、波形同士を拡大・縮小して比較することで、映像画像検索を実現するものがある（例えば、非特許文献２参照）。
【０００７】
また、例示する映像の特徴量として、映像フレームの画像特徴量に着目する映像検索方法がある。例えば、映像をショットに分割し、各ショットの代表フレームの集合で映像を表現し、代表フレーム集合同士を比較することで映像を検索するものがある（非特許文献３参照）。
【非特許文献１】望月貴裕、蓼沼眞、八木伸行、「シーンのパターン化と隠れマルコフモデルを用いた野球のインデキシング」電子情報通信学会技術研究報告、PRMU2005-28, pp.37-42, 2005
【非特許文献２】高橋克直、富永英義、杉浦麻貴、横井摩優、寺島信義「特徴的な動画像の画紋を用いた高能率動画像検索法」画像電子学会論文誌，Vol.29, No.6, 2000
【非特許文献３】堀田政二、井上光平、浦浜喜一「画像集合間距離に基づくビデオの類似検索」映像情報メディア学会誌、Vol.54, No.11, 2000
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従来の学習ベースの手法（非特許文献１）では、事前に学習データを用意する必要がある。一般に、学習データを自動に集めることは困難であり、現実には人手を要する。そのため、映像のジャンルや検索イベント種類が増えるにつれて、その作業量及び、作業者を雇い入れる費用が問題になる。また、予め決められたイベント以外は、ユーザの多様な検索ニーズに即座に応えることができないという問題がある。
【０００９】
一方、例示ベースの手法（非特許文献２）は、平均色の時系列特徴を用いており、例示映像と全く同じ映像（例えばＣＭ）を検索することには適しているが、例示映像と似ている映像（例えば、サッカーのＰＫシーン）を探す場合は、必ずしも例示映像と同じ時間長で撮影されているわけではないため、時系列特徴の類似性が低下するという問題がある。また、フレーム全体を平均色で表しているため、人間の見た目には異なるフレームを同一視してしまうという、識別精度の問題がある。
【００１０】
また、映像フレームの画像特徴量を用いる手法（非特許文献３）では、ショットを一つの代表フレームで表しており、ショット内での物体の動き情報が失われており、映像特有の動物体を用いた検索ができないという問題がある。
【００１１】
また、動画像の特徴を詳細に記述すればするほど、映像同士の特徴量比較に係る時間が増え、検索結果を返すまでに計算時間がかかるという問題が生じる。
【００１２】
本発明は、上記の点に鑑みなされたもので、ショットと呼ばれる１０秒程度の映像を対象とする映像検索における類似映像の検索精度を向上させ、ラベル種別のみの処理による高速化が可能な映像検索方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１３】
図１は、本発明の原理を説明するための図である。
【００１４】
本発明（請求項１）は、ユーザが例示した映像区間と類似する映像区間を検索する映像検索方法であって、
ショット分割手段が、入力された映像の内容が変化した点で該映像を部分映像区間（以下、ショットと呼ぶ）に分割し、記憶手段に格納するショット分割ステップ（ステップ１）と、
構図情報抽出手段が、ショットから主な領域の特徴量である構図情報を抽出し、記憶手段に格納する構図情報抽出ステップ（ステップ２）と、
ショット分類手段が、構図情報に基づいてショットを分類し、分類カテゴリ結果を記憶手段に格納するショット分類ステップ（ステップ３）と、
類似度算出手段が、ショット分類ステップで得られたショットの前記分類カテゴリ結果に基づいて、入力された例示映像区間とショットの類似度を算出する類似度算出ステップ（ステップ４）と、
検索結果表示手段が、類似度に基づいて映像区間を出力する検索結果表示ステップ（ステップ５）と、を行う。
【００１５】
また、本発明（請求項２）は、ショット分類ステップ（ステップ３）において、
未分類の入力ショットと分類済のショットを比較し、予め設定した閾値未満の場合、既存のショットカテゴリに未分類の入力ショットを分類し、閾値以上の場合は、新しい分類カテゴリに分類する。
【００１６】
図２は、本発明の原理構成図である。
【００１７】
本発明（請求項３）は、ユーザが例示した映像区間と類似する映像区間を検索する映像検索装置であって、
入力された映像の内容が変化した点で該映像を部分映像区間（以下、ショットと呼ぶ）に分割し、記憶手段１０８に格納するショット分割手段１０２と、
ショットから主な領域の特徴量である構図情報を抽出し、記憶手段１０８に格納する構図情報抽出手段１０３と、
構図情報に基づいて記憶手段１０８に格納されているショットを分類し、分類カテゴリ結果を該記憶手段に格納するショット分類手段１０４と、
ショット分類手段１０４で得られたショットの分類カテゴリ結果に基づいて、入力された例示映像区間とショット部分映像区間の類似度を算出する類似度算出手段１０６と、
類似度に基づいて映像区間を出力する検索結果表示手段１０７と、を有する。
【００１８】
また、本発明（請求項４）は、ショット分類手段１０４において、
未分類の入力ショットと分類済のショットを比較し、予め設定した閾値未満の場合、既存のショットカテゴリに未分類の入力ショットを分類し、閾値以上の場合は、新しい分類カテゴリに分類する手段を含む。
【００１９】
本発明（請求項５）は、ユーザが例示した映像区間と類似する映像区間を検索する映像検索プログラムであって、
コンピュータを、請求項３または４記載の映像装置として機能させる映像検索プログラムである。
【００２０】
本発明（請求項６）は、ユーザが例示した映像区間と類似する映像区間を検索する映像検索プログラムを格納したコンピュータ読み取り可能な記録媒体であって、
コンピュータを、請求項３または４記載の映像装置として機能させるプログラムを格納したコンピュータ読み取り可能な記録媒体である。
【００２１】
放送映像の多くは、映像製作技術に基づいて映像制作されているので、映像種別を限定すれば番組の構成（場面展開や被写体の構図など）に再現性がある。例えば、毎週あるいは毎日同じ時間帯で放送されるレギュラー番組の多くは、特定の放送作家やディレクタにより撮影したい場面とその場面展開がストーリとして決められており、放送日が異なっても番組構成の類似性は高い。
【００２２】
また、スポーツ番組では、スポーツ自身が決められたルールに基づいて行われる性質上、映像に再現性がある。例えば、野球番組であればどの番組でも、同じような投球シーンが繰り返し出現する。
【００２３】
さらに、熟練したカメラマンは撮影する場面や展開に応じて適切に撮影できるスキルを持っているので、同じような番組構成では、被写体の画面での位置や大きさ、カメラ操作などにも再現性がみられる。
【００２４】
したがって、放送作家、ディレクタ、熟練カメラマンらによって制作される、同種の放送映像では、番組構成上、類似シーンが繰り返し発生し、それらの類似したシーンにおいては、被写体の構図などに再現性があるといえる。
【００２５】
本発明は、そのような映像制作技術に着目し、画像内容が変化するショットを単位にして、被写体の配置、被写体を写す大きさ、被写体の画面での移動量などの特徴により映像をモデル化する。これにより、非特許文献２のような特定条件（同一時間長、同一フレーム）を意識した厳密な類似性ではなく、また、非特許文献３のような特定フレームにおける画像特徴量といった粗い類似性ではない、映像撮影技術に基づくショットの構図集合で映像をモデル化した類似性を与える映像区間検索方法である。本発明は、ショットを単位とすることで、時間方向にロバスト性を与え、構図情報により画像内容の解析精度を高めることができる。また、ＴＶ番組の映像制作技術に着目しており、事前学習を必要としないということに加え、任意の映像区間に対して適用可能である。なお、これらの特徴は、野球映像といったように特定の映像に限定されるものではない。
【００２６】
また、本発明は、時間軸、画像空間軸の両面からなる構図情報を抽出することで、ショットの内容を解析するため精度が高まる。また、この構図情報を基にショットをいくつかのカテゴリに分類、ラベル付与を行い、映像の類似性を、ショットラベルの集合の類似性と定義することで、映像区間同士の比較演算コストを大幅に削減されるため、高速に所望とする映像区間が検索可能な映像検索方法である。
【００２７】
本発明は、番組のストーリが同じであれば、映像区間に含まれるカメラ操作及び構図の集合に類似性があるという過程に基づく類似映像区間検索技術である。特に、スポーツ競技のように、カメラの操作及び構図に類似性が見られる映像に効果があると期待できる。
【００２８】
また、従来のイベント検出のように、事前学習を必要としないという特徴がある。
【発明の効果】
【００２９】
上記のように本発明によれば、画像内容が変化するショットを単位に、画像全体の特徴を全て使うのではなく、主な領域を選び出し、ショットの構図特徴として抽出し、映像検索に応用する。これにより、映像区間の時間長に柔軟性を持たせ、画面の構図により識別精度を高めることができる。ＴＶ番組の映像製作技術に着目しており、野球映像といったように特定の映像に限定されるものではないという特徴がある。
【００３０】
また、本発明では、事前に映像データベース中の映像に対して、ショットのカテゴリ分類とラベル付与を行い、多大の情報量を持つ映像同士の比較を、少数のショットラベル集合の類似度算出に置き換え、高速に類似映像区間を検索することができる。また、ショットの分類は、構図情報に基づき行われているため、検索される映像区間は、類似した撮影構図から構成され、より人間の主観に近いことが期待できる。加えて、映像の書誌的なデータを使って、検索対象をフィルタリングすることで、誤検索を抑制することができる。
【発明を実施するための最良の形態】
【００３１】
以下、図面と共に本発明の実施の形態を説明する。
【００３２】
図３は、本発明の一実施の形態における映像検索装置の構成を示す。
【００３３】
同図に示す映像検索装置は、映像データをショットと呼ばれる部分映像区間に分割し、構図情報に基づきショットをカテゴリ分類し、映像の類似性をショットの分類ラベルの類似性により定義し、ユーザが所望する映像区間を検索するものである。
【００３４】
本実施の形態では、映像検索装置１００は、映像受付部１０１、ショット分割部１０２、構図情報抽出部１０３、ショット分類部１０４、検索条件入力部１０５、類似度算出部１０６、検索結果表示部１０７、映像データベース１０８から構成されるものとする。
【００３５】
また、映像検索装置１００には、外部情報記憶装置１１０と映像再生装置１１１が接続されている。
【００３６】
映像受付部１０１は、映像配信サーバや映像受信装置（例えば、チューナー）などの外部情報記憶部１１０を介して外部から映像を取得し、ショット分割部１０２へ入力すると共に、映像データベース１０８に格納する。このとき、映像に予め関連付けられたメタデータや、ＥＰＧ（電子番組表）サービスを利用してタイトル、映像ジャンル等の書誌的な情報を映像と共に取得し、映像データベース１０８へ格納してもよい。
【００３７】
ショット分割部１０２は、映像受付部１０１から入力される映像に対し、カット点と呼ばれる映像内容の構成が大きく変化する点を検出し、このカット点毎に映像を分割するものである。ショットとは、時間的に隣接したカットの間と定義する。このショット分割部１０２は、得られたショットを構図情報抽出部１０３に入力する。また、図４に示す映像データベース１０８の映像管理テーブルのショットの名前name、開始時刻S_Time、終了時刻E_Timeの欄へ格納する。このショット分割部１０２は、例えば、特開平１１−０１８０２８に開示されたショット分割手法などを用いることができる。
【００３８】
構図情報抽出部１０３は、ショット分割部１０２から入力される各ショットに対し、ショットを特徴付ける構図情報を求めるものである。具体的には、ショットから主な領域（画面を構成する主要な領域を表す。例えば、画像の領域分割で用いられる一般的な手法を用い、各フレームを複数の領域に分割し、ショットの先頭フレームから、最終フレームまで対応付けが可能な領域とする）を求め、その位置、大きさ、模様の複雑さ、色特徴、移動量などの特徴量を構図情報として抽出する。算出された各構図情報は、ショット分類部１０４へ入力すると共に、映像データベース１０８の映像管理テーブルの構図情報（領域１〜領域i）に格納される。
【００３９】
ショット分類部１０４は、構図情報抽出部１０３から入力された各ショットの構図情報の類似性の基づき、ショットのカテゴリ分類を行うものである。また、このショット分類部１０４は、ショットのカテゴリ分類結果に基づき、分類ラベルを映像データベース１０８の映像管理テーブルのショットラベル［Label］に格納し、各分類ラベルとその特徴量を図５に示すラベル管理テーブルに格納する（詳細については後述する）。以上のようにして、映像データベース１０８に映像とその特徴量が蓄積される。
【００４０】
映像再生装置１１１は、例えば、図６に示すように、ユーザが映像データベース１０８に格納された映像を視聴するものである。ユーザは、検索したい映像区間が見つかった場合、図６の右下にある「探す」ボタンを押下することで、検索条件入力部１０５（例えば、図７）に遷移する。
【００４１】
検索条件入力部１０５は、ユーザの検索意図をシステムに伝える役割を持つ例示映像区間を決定し、例示映像区間を類似度算出部１０６に入力するものである。類似映像区間を示すには、例えば、図７に示すように、映像再生装置１１１で「探す」ボタンを押下した時刻を基準に、時間的に前後する複数のショットの代表画像（例えばショットの先頭画像）を表示し、各代表画像の下部にあるin（始点）とout（終点）のラジオボタンを選択することで、例示映像区間を決定してもよい。
【００４２】
また、このとき、映像データベース１０８で映像と共にＥＰＧなどの書誌的な情報を保持している場合、映像検索精度の向上を目的として、映像自体の書誌的な情報を用いて対象映像の範囲を指定することができる。
【００４３】
類似度算出部１０６は、検索条件入力部１０５から入力された例示映像区間と映像データベース１０８に格納されている映像区間の類似性を構図情報に基づくショットラベル集合の類似性とし、予め定めた式により算出し、検索結果表示部１０７に入力するものである。類似度算出方法は、例えば、以下で定義される式を用いてもよい。
【００４４】
【数１】
検索結果表示部１０７は、類似度算出部１０６で算出される類似度に基づき、類似度の高い順に、映像データベース１０８から該当する類似映像区間を取得し、ユーザに結果を提示する。例えば、検索結果の一覧性を高めるため、１映像区間につき、各ショットの代表フレームを複数枚表示してもよい。
【００４５】
次に、ショット分類部１０４について説明する。
【００４６】
図８は、本発明の一実施の形態におけるショット分類部の動作のフローチャートである。
【００４７】
ステップ１１） 構図情報抽出部１０３から入力される未分類のショットの構図情報を受け付け、一時メモリ（図示せず）に格納する。
【００４８】
ステップ１２） 映像データベース１０８のラベル管理テーブルを取得し、ラベル管理テーブルのショットを一時メモリ（図示せず）に格納する。
【００４９】
ステップ１３） 一時メモリ（図示せず）より、ステップ１１で受け付けたショットの構図情報と、ステップ１２で取得したショットの構図情報とを読み出し、全てのショット組で距離を算出する。このとき、ショット同士の距離は、例えば、最も特徴ベクトルの距離が近い領域同士の距離の和とし、距離尺度には、差分の絶対値和や以下の式で定義する重み付き２乗距離和を用いることが可能である。
【００５０】
【数２】
ステップ１４） ステップ１３で求めた距離が、予め定めた閾値以下のショットの組を、同一のカテゴリに分類する。
【００５１】
ステップ１５） ステップ１４で分類されたカテゴリ毎に、映像データベース１０８のラベル管理テーブルのショットが含まれるか否かを判定する。「はい」の場合、ステップ１６へ移行し、「いいえ」の場合は、ステップ１８に移行する。
【００５２】
ステップ１６） カテゴリ毎に、カテゴリ内のラベル未付与のショット（本実施の形態では、ショットＺと表し、説明する）に対し、同一カテゴリ内で、既にラベルを付与されたショット（本実施の形態では、ショットＤと表し、説明する）のラベルＤを与え、映像データベース１０８の映像管理テーブルのショットＺのLabel欄に分類ラベルＤを格納する。
【００５３】
ステップ１７） 映像データベース１０８の映像管理テーブルのショットのうち、Ｄラベルに属する全てのショットを用い、それらの構図情報の平均値を求め、ラベル管理テーブルのショットＤの構図情報と置き換える。
【００５４】
ステップ１８） 新規のラベルを与え、映像管理テーブルとラベル管理テーブルに格納する。
【００５５】
図９は、本発明の一実施の形態における検索の手掛かりとなる映像の特徴情報（映像管理テーブル、ラベル管理テーブル）を生成する手順のフローチャートである。
【００５６】
ステップ１０１） 映像受付部１０１により、映像配信サーバや映像受信装置などの外部情報記憶装置を介して外部から映像を取得し、映像データベース１０８の映像記憶領域に格納する。
【００５７】
ステップ１０２） ステップ１０１で取得した映像データをショット分割部１０２により、ショットへ分割する。これにより得られたショットの先頭フレーム及び最終フレームの時刻、ショットラベルは、映像データベース１０８の映像管理テーブル及びラベル管理テーブルに格納される。
【００５８】
ステップ１０３） ステップ１０２で分割したショット毎に、構図情報抽出部１０３により、ショットの構図情報として抽出し、映像データベース１０８の映像管理テーブル及びラベル管理テーブルに格納する。
【００５９】
ステップ１０４） ステップ１０３で算出した構図情報を用い、ショットの分類部１０４によりショットの分類を行う。
【００６０】
上記のようにして得られ、映像データベース１０８の映像管理テーブルの例を図４、ラベル管理テーブルの例を図５に示す。また、上記のフローチャートで映像にラベルが付与されるイメージ図を図１０に示す。
【００６１】
次に、映像検索装置１００において、予め求めたショットの分類結果（ショットの分類ラベル）に基づいて、映像を検索する処理について説明する。
【００６２】
図１１は、本発明の一実施の形態における類似映像を検索する処理のフローチャートである。
【００６３】
ステップ２０１） 検索条件入力部１０５により、ユーザの検索意図を表す例示映像区間が指定される。このとき、検索対象映像の詳細条件が指定できるようにしてもよい。例えば、映像ジャンルやタイトル名、録画日時などの条件である。
【００６４】
ステップ２０２） 類似度算出部１０６は、映像データベース１０８から例示区間映像に対応する映像管理テーブルのLabel欄を参照し、ショットのラベル集合を求める。また、映像データベース１０８から検索対象となる候補映像のラベル集合を時系列に取得する。
【００６５】
ステップ２０３） 類似度算出部１０６は、例示映像区間におけるショットのラベル集合に基づき、検索窓幅を決定する。この検索窓幅は、映像区間同士を比較するために、検索対象映像の中から被検索映像区間を取得するためのものである。検索窓幅の決定方法としては、例えば、例示映像区間に含まれるショットラベルの個数や例示映像区間の時間幅を利用してもよい。
【００６６】
ステップ２０４） 類似度算出部１０６は、ステップ２０２で得られたラベル集合に対し、図１２に示すように、先頭から検索窓幅を設定し、ステップ２０３で決定した検索窓をかけ、検索窓内のショットラベル集合を得る。
【００６７】
ステップ２０５） 類似度算出部１０６は、ステップ２０３で得られる例示映像区間のショットラベル集合と、ステップ２０４から得られる被検索対象のショットラベル集合を元に、類似度を算出する。
【００６８】
ステップ２０６） 入力された検索対象映像が最後であるかを判断し、「はい」であれば、ステップ２０７に移行し、「いいえ」ならステップ２０４へ移行する。
【００６９】
ステップ２０７） 検索結果表示部１０７は、算出した類似度が高い順に、映像区間を表示手段に表示する。
【００７０】
本発明は、上記の映像検索装置の動作をプログラムとして構築し、映像検索装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００７１】
また、構築されたプログラムを、ハードディスクや、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【００７２】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００７３】
本発明は、映像区間の検出を行う技術に適用可能である。例えば、放送映像において番組の構成上、再現性がある、スポーツ競技のように、カメラの操作及び構図に類似性が見られる映像区間の検索に適用できる。
【図面の簡単な説明】
【００７４】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の一実施の形態における映像検索装置の構成図である。
【図４】本発明の一実施の形態における映像データベースの映像管理テーブルの例である。
【図５】本発明の一実施の形態における映像データベースのラベル管理テーブルの例である。
【図６】本発明の一実施の形態における映像再生装置による視聴映像の例である。
【図７】本発明の一実施の形態における例示映像区間を選択する画面例である。
【図８】本発明の一実施の形態におけるショット分類部の動作のフローチャートである。
【図９】本発明の一実施の形態における映像特徴情報（映像管理テーブル、ラベル管理テーブル）を生成する手順のフローチャートである。
【図１０】本発明の一実施の形態における映像にラベルを付与するイメージ図である。
【図１１】本発明の一実施の形態における類似映像を検索する処理のフローチャートである。
【図１２】本発明の一実施の形態における検索対象映像から被検索区間を求めるショットラベル集合を求める例である。
【符号の説明】
【００７５】
１００ 映像検索装置
１０１ 映像受付部
１０２ ショット分割手段、ショット分割部
１０３ 構図情報抽出手段、構図情報抽出部
１０４ ショット分類手段、ショット分類部
１０５ 検索条件入力部
１０６ 類似度算出手段、類似度算出部
１０７ 検索結果表示手段、検索結果表示部
１０８ 映像データベース
１１０ 外部情報記憶装置
１１１ 映像再生装置
【技術分野】
【０００１】
本発明は、映像検索方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体に係り、特に、映像の制作方法に着目した映像区間の特徴記述方法、及び、それを用いて複数のショットからなる映像区間の検索を行う映像検索方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
近年、デジタル放送やケーブルテレビの普及に伴い、様々なジャンルの映像データを入手することが、個人でも容易になっている。加えて、ＨＤＤ、蓄積メディアの進歩に伴い、映像データを、ハードディスク、ＤＶＤ等に大量に蓄積し、個人の都合にあった時間に、視聴するスタイルが定着してきている。
【０００３】
その一方で、記録蓄積された映像データが増えれば増えるほど、膨大な映像データの中から、特定のイベントシーンのような、複数のショットで１つの意味（行為）となる映像区間を探し出すことは困難である。それに伴い、大量の映像内容を解析し、ユーザの所望する映像区間の検索を行う技術が注目を集めている。
【０００４】
従来の映像区間検索方法の多くは、予め定められたイベントを対象とし、定義されたイベントに含まれる特徴を事前に学習することでイベントを高精度に検索する技術がある（例えば、非特許文献１参照）。
【０００５】
学習を用いないアプローチとしては、従来の画像検索で用いられる例示に基づく手法がある。この方法は、ユーザが予め所望する映像と類似する映像を用意し、その映像に含まれる特徴量から、ユーザが所望する映像を探し出す方法である。例示に基づく方法は、イベントを固定しないため、様々な検索要求（種々のイベント）に柔軟に対応することができるという特徴がある。
【０００６】
例示に基づく手法の一つに、映像特徴量の時系列特徴に着目する映像検索方法がある。例えば、ＭＰＥＧストリームの各Intra(フレーム内符号)フレームのＤＣ成分を用い、フレームの平均色情報を求め、３次元の色空間に配置し、その軌跡を時間軸に投影し、波形情報に変換し、波形同士を拡大・縮小して比較することで、映像画像検索を実現するものがある（例えば、非特許文献２参照）。
【０００７】
また、例示する映像の特徴量として、映像フレームの画像特徴量に着目する映像検索方法がある。例えば、映像をショットに分割し、各ショットの代表フレームの集合で映像を表現し、代表フレーム集合同士を比較することで映像を検索するものがある（非特許文献３参照）。
【非特許文献１】望月貴裕、蓼沼眞、八木伸行、「シーンのパターン化と隠れマルコフモデルを用いた野球のインデキシング」電子情報通信学会技術研究報告、PRMU2005-28, pp.37-42, 2005
【非特許文献２】高橋克直、富永英義、杉浦麻貴、横井摩優、寺島信義「特徴的な動画像の画紋を用いた高能率動画像検索法」画像電子学会論文誌，Vol.29, No.6, 2000
【非特許文献３】堀田政二、井上光平、浦浜喜一「画像集合間距離に基づくビデオの類似検索」映像情報メディア学会誌、Vol.54, No.11, 2000
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従来の学習ベースの手法（非特許文献１）では、事前に学習データを用意する必要がある。一般に、学習データを自動に集めることは困難であり、現実には人手を要する。そのため、映像のジャンルや検索イベント種類が増えるにつれて、その作業量及び、作業者を雇い入れる費用が問題になる。また、予め決められたイベント以外は、ユーザの多様な検索ニーズに即座に応えることができないという問題がある。
【０００９】
一方、例示ベースの手法（非特許文献２）は、平均色の時系列特徴を用いており、例示映像と全く同じ映像（例えばＣＭ）を検索することには適しているが、例示映像と似ている映像（例えば、サッカーのＰＫシーン）を探す場合は、必ずしも例示映像と同じ時間長で撮影されているわけではないため、時系列特徴の類似性が低下するという問題がある。また、フレーム全体を平均色で表しているため、人間の見た目には異なるフレームを同一視してしまうという、識別精度の問題がある。
【００１０】
また、映像フレームの画像特徴量を用いる手法（非特許文献３）では、ショットを一つの代表フレームで表しており、ショット内での物体の動き情報が失われており、映像特有の動物体を用いた検索ができないという問題がある。
【００１１】
また、動画像の特徴を詳細に記述すればするほど、映像同士の特徴量比較に係る時間が増え、検索結果を返すまでに計算時間がかかるという問題が生じる。
【００１２】
本発明は、上記の点に鑑みなされたもので、ショットと呼ばれる１０秒程度の映像を対象とする映像検索における類似映像の検索精度を向上させ、ラベル種別のみの処理による高速化が可能な映像検索方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１３】
図１は、本発明の原理を説明するための図である。
【００１４】
本発明（請求項１）は、ユーザが例示した映像区間と類似する映像区間を検索する映像検索方法であって、
ショット分割手段が、入力された映像の内容が変化した点で該映像を部分映像区間（以下、ショットと呼ぶ）に分割し、記憶手段に格納するショット分割ステップ（ステップ１）と、
構図情報抽出手段が、ショットから主な領域の特徴量である構図情報を抽出し、記憶手段に格納する構図情報抽出ステップ（ステップ２）と、
ショット分類手段が、構図情報に基づいてショットを分類し、分類カテゴリ結果を記憶手段に格納するショット分類ステップ（ステップ３）と、
類似度算出手段が、ショット分類ステップで得られたショットの前記分類カテゴリ結果に基づいて、入力された例示映像区間とショットの類似度を算出する類似度算出ステップ（ステップ４）と、
検索結果表示手段が、類似度に基づいて映像区間を出力する検索結果表示ステップ（ステップ５）と、を行う。
【００１５】
また、本発明（請求項２）は、ショット分類ステップ（ステップ３）において、
未分類の入力ショットと分類済のショットを比較し、予め設定した閾値未満の場合、既存のショットカテゴリに未分類の入力ショットを分類し、閾値以上の場合は、新しい分類カテゴリに分類する。
【００１６】
図２は、本発明の原理構成図である。
【００１７】
本発明（請求項３）は、ユーザが例示した映像区間と類似する映像区間を検索する映像検索装置であって、
入力された映像の内容が変化した点で該映像を部分映像区間（以下、ショットと呼ぶ）に分割し、記憶手段１０８に格納するショット分割手段１０２と、
ショットから主な領域の特徴量である構図情報を抽出し、記憶手段１０８に格納する構図情報抽出手段１０３と、
構図情報に基づいて記憶手段１０８に格納されているショットを分類し、分類カテゴリ結果を該記憶手段に格納するショット分類手段１０４と、
ショット分類手段１０４で得られたショットの分類カテゴリ結果に基づいて、入力された例示映像区間とショット部分映像区間の類似度を算出する類似度算出手段１０６と、
類似度に基づいて映像区間を出力する検索結果表示手段１０７と、を有する。
【００１８】
また、本発明（請求項４）は、ショット分類手段１０４において、
未分類の入力ショットと分類済のショットを比較し、予め設定した閾値未満の場合、既存のショットカテゴリに未分類の入力ショットを分類し、閾値以上の場合は、新しい分類カテゴリに分類する手段を含む。
【００１９】
本発明（請求項５）は、ユーザが例示した映像区間と類似する映像区間を検索する映像検索プログラムであって、
コンピュータを、請求項３または４記載の映像装置として機能させる映像検索プログラムである。
【００２０】
本発明（請求項６）は、ユーザが例示した映像区間と類似する映像区間を検索する映像検索プログラムを格納したコンピュータ読み取り可能な記録媒体であって、
コンピュータを、請求項３または４記載の映像装置として機能させるプログラムを格納したコンピュータ読み取り可能な記録媒体である。
【００２１】
放送映像の多くは、映像製作技術に基づいて映像制作されているので、映像種別を限定すれば番組の構成（場面展開や被写体の構図など）に再現性がある。例えば、毎週あるいは毎日同じ時間帯で放送されるレギュラー番組の多くは、特定の放送作家やディレクタにより撮影したい場面とその場面展開がストーリとして決められており、放送日が異なっても番組構成の類似性は高い。
【００２２】
また、スポーツ番組では、スポーツ自身が決められたルールに基づいて行われる性質上、映像に再現性がある。例えば、野球番組であればどの番組でも、同じような投球シーンが繰り返し出現する。
【００２３】
さらに、熟練したカメラマンは撮影する場面や展開に応じて適切に撮影できるスキルを持っているので、同じような番組構成では、被写体の画面での位置や大きさ、カメラ操作などにも再現性がみられる。
【００２４】
したがって、放送作家、ディレクタ、熟練カメラマンらによって制作される、同種の放送映像では、番組構成上、類似シーンが繰り返し発生し、それらの類似したシーンにおいては、被写体の構図などに再現性があるといえる。
【００２５】
本発明は、そのような映像制作技術に着目し、画像内容が変化するショットを単位にして、被写体の配置、被写体を写す大きさ、被写体の画面での移動量などの特徴により映像をモデル化する。これにより、非特許文献２のような特定条件（同一時間長、同一フレーム）を意識した厳密な類似性ではなく、また、非特許文献３のような特定フレームにおける画像特徴量といった粗い類似性ではない、映像撮影技術に基づくショットの構図集合で映像をモデル化した類似性を与える映像区間検索方法である。本発明は、ショットを単位とすることで、時間方向にロバスト性を与え、構図情報により画像内容の解析精度を高めることができる。また、ＴＶ番組の映像制作技術に着目しており、事前学習を必要としないということに加え、任意の映像区間に対して適用可能である。なお、これらの特徴は、野球映像といったように特定の映像に限定されるものではない。
【００２６】
また、本発明は、時間軸、画像空間軸の両面からなる構図情報を抽出することで、ショットの内容を解析するため精度が高まる。また、この構図情報を基にショットをいくつかのカテゴリに分類、ラベル付与を行い、映像の類似性を、ショットラベルの集合の類似性と定義することで、映像区間同士の比較演算コストを大幅に削減されるため、高速に所望とする映像区間が検索可能な映像検索方法である。
【００２７】
本発明は、番組のストーリが同じであれば、映像区間に含まれるカメラ操作及び構図の集合に類似性があるという過程に基づく類似映像区間検索技術である。特に、スポーツ競技のように、カメラの操作及び構図に類似性が見られる映像に効果があると期待できる。
【００２８】
また、従来のイベント検出のように、事前学習を必要としないという特徴がある。
【発明の効果】
【００２９】
上記のように本発明によれば、画像内容が変化するショットを単位に、画像全体の特徴を全て使うのではなく、主な領域を選び出し、ショットの構図特徴として抽出し、映像検索に応用する。これにより、映像区間の時間長に柔軟性を持たせ、画面の構図により識別精度を高めることができる。ＴＶ番組の映像製作技術に着目しており、野球映像といったように特定の映像に限定されるものではないという特徴がある。
【００３０】
また、本発明では、事前に映像データベース中の映像に対して、ショットのカテゴリ分類とラベル付与を行い、多大の情報量を持つ映像同士の比較を、少数のショットラベル集合の類似度算出に置き換え、高速に類似映像区間を検索することができる。また、ショットの分類は、構図情報に基づき行われているため、検索される映像区間は、類似した撮影構図から構成され、より人間の主観に近いことが期待できる。加えて、映像の書誌的なデータを使って、検索対象をフィルタリングすることで、誤検索を抑制することができる。
【発明を実施するための最良の形態】
【００３１】
以下、図面と共に本発明の実施の形態を説明する。
【００３２】
図３は、本発明の一実施の形態における映像検索装置の構成を示す。
【００３３】
同図に示す映像検索装置は、映像データをショットと呼ばれる部分映像区間に分割し、構図情報に基づきショットをカテゴリ分類し、映像の類似性をショットの分類ラベルの類似性により定義し、ユーザが所望する映像区間を検索するものである。
【００３４】
本実施の形態では、映像検索装置１００は、映像受付部１０１、ショット分割部１０２、構図情報抽出部１０３、ショット分類部１０４、検索条件入力部１０５、類似度算出部１０６、検索結果表示部１０７、映像データベース１０８から構成されるものとする。
【００３５】
また、映像検索装置１００には、外部情報記憶装置１１０と映像再生装置１１１が接続されている。
【００３６】
映像受付部１０１は、映像配信サーバや映像受信装置（例えば、チューナー）などの外部情報記憶部１１０を介して外部から映像を取得し、ショット分割部１０２へ入力すると共に、映像データベース１０８に格納する。このとき、映像に予め関連付けられたメタデータや、ＥＰＧ（電子番組表）サービスを利用してタイトル、映像ジャンル等の書誌的な情報を映像と共に取得し、映像データベース１０８へ格納してもよい。
【００３７】
ショット分割部１０２は、映像受付部１０１から入力される映像に対し、カット点と呼ばれる映像内容の構成が大きく変化する点を検出し、このカット点毎に映像を分割するものである。ショットとは、時間的に隣接したカットの間と定義する。このショット分割部１０２は、得られたショットを構図情報抽出部１０３に入力する。また、図４に示す映像データベース１０８の映像管理テーブルのショットの名前name、開始時刻S_Time、終了時刻E_Timeの欄へ格納する。このショット分割部１０２は、例えば、特開平１１−０１８０２８に開示されたショット分割手法などを用いることができる。
【００３８】
構図情報抽出部１０３は、ショット分割部１０２から入力される各ショットに対し、ショットを特徴付ける構図情報を求めるものである。具体的には、ショットから主な領域（画面を構成する主要な領域を表す。例えば、画像の領域分割で用いられる一般的な手法を用い、各フレームを複数の領域に分割し、ショットの先頭フレームから、最終フレームまで対応付けが可能な領域とする）を求め、その位置、大きさ、模様の複雑さ、色特徴、移動量などの特徴量を構図情報として抽出する。算出された各構図情報は、ショット分類部１０４へ入力すると共に、映像データベース１０８の映像管理テーブルの構図情報（領域１〜領域i）に格納される。
【００３９】
ショット分類部１０４は、構図情報抽出部１０３から入力された各ショットの構図情報の類似性の基づき、ショットのカテゴリ分類を行うものである。また、このショット分類部１０４は、ショットのカテゴリ分類結果に基づき、分類ラベルを映像データベース１０８の映像管理テーブルのショットラベル［Label］に格納し、各分類ラベルとその特徴量を図５に示すラベル管理テーブルに格納する（詳細については後述する）。以上のようにして、映像データベース１０８に映像とその特徴量が蓄積される。
【００４０】
映像再生装置１１１は、例えば、図６に示すように、ユーザが映像データベース１０８に格納された映像を視聴するものである。ユーザは、検索したい映像区間が見つかった場合、図６の右下にある「探す」ボタンを押下することで、検索条件入力部１０５（例えば、図７）に遷移する。
【００４１】
検索条件入力部１０５は、ユーザの検索意図をシステムに伝える役割を持つ例示映像区間を決定し、例示映像区間を類似度算出部１０６に入力するものである。類似映像区間を示すには、例えば、図７に示すように、映像再生装置１１１で「探す」ボタンを押下した時刻を基準に、時間的に前後する複数のショットの代表画像（例えばショットの先頭画像）を表示し、各代表画像の下部にあるin（始点）とout（終点）のラジオボタンを選択することで、例示映像区間を決定してもよい。
【００４２】
また、このとき、映像データベース１０８で映像と共にＥＰＧなどの書誌的な情報を保持している場合、映像検索精度の向上を目的として、映像自体の書誌的な情報を用いて対象映像の範囲を指定することができる。
【００４３】
類似度算出部１０６は、検索条件入力部１０５から入力された例示映像区間と映像データベース１０８に格納されている映像区間の類似性を構図情報に基づくショットラベル集合の類似性とし、予め定めた式により算出し、検索結果表示部１０７に入力するものである。類似度算出方法は、例えば、以下で定義される式を用いてもよい。
【００４４】
【数１】
検索結果表示部１０７は、類似度算出部１０６で算出される類似度に基づき、類似度の高い順に、映像データベース１０８から該当する類似映像区間を取得し、ユーザに結果を提示する。例えば、検索結果の一覧性を高めるため、１映像区間につき、各ショットの代表フレームを複数枚表示してもよい。
【００４５】
次に、ショット分類部１０４について説明する。
【００４６】
図８は、本発明の一実施の形態におけるショット分類部の動作のフローチャートである。
【００４７】
ステップ１１） 構図情報抽出部１０３から入力される未分類のショットの構図情報を受け付け、一時メモリ（図示せず）に格納する。
【００４８】
ステップ１２） 映像データベース１０８のラベル管理テーブルを取得し、ラベル管理テーブルのショットを一時メモリ（図示せず）に格納する。
【００４９】
ステップ１３） 一時メモリ（図示せず）より、ステップ１１で受け付けたショットの構図情報と、ステップ１２で取得したショットの構図情報とを読み出し、全てのショット組で距離を算出する。このとき、ショット同士の距離は、例えば、最も特徴ベクトルの距離が近い領域同士の距離の和とし、距離尺度には、差分の絶対値和や以下の式で定義する重み付き２乗距離和を用いることが可能である。
【００５０】
【数２】
ステップ１４） ステップ１３で求めた距離が、予め定めた閾値以下のショットの組を、同一のカテゴリに分類する。
【００５１】
ステップ１５） ステップ１４で分類されたカテゴリ毎に、映像データベース１０８のラベル管理テーブルのショットが含まれるか否かを判定する。「はい」の場合、ステップ１６へ移行し、「いいえ」の場合は、ステップ１８に移行する。
【００５２】
ステップ１６） カテゴリ毎に、カテゴリ内のラベル未付与のショット（本実施の形態では、ショットＺと表し、説明する）に対し、同一カテゴリ内で、既にラベルを付与されたショット（本実施の形態では、ショットＤと表し、説明する）のラベルＤを与え、映像データベース１０８の映像管理テーブルのショットＺのLabel欄に分類ラベルＤを格納する。
【００５３】
ステップ１７） 映像データベース１０８の映像管理テーブルのショットのうち、Ｄラベルに属する全てのショットを用い、それらの構図情報の平均値を求め、ラベル管理テーブルのショットＤの構図情報と置き換える。
【００５４】
ステップ１８） 新規のラベルを与え、映像管理テーブルとラベル管理テーブルに格納する。
【００５５】
図９は、本発明の一実施の形態における検索の手掛かりとなる映像の特徴情報（映像管理テーブル、ラベル管理テーブル）を生成する手順のフローチャートである。
【００５６】
ステップ１０１） 映像受付部１０１により、映像配信サーバや映像受信装置などの外部情報記憶装置を介して外部から映像を取得し、映像データベース１０８の映像記憶領域に格納する。
【００５７】
ステップ１０２） ステップ１０１で取得した映像データをショット分割部１０２により、ショットへ分割する。これにより得られたショットの先頭フレーム及び最終フレームの時刻、ショットラベルは、映像データベース１０８の映像管理テーブル及びラベル管理テーブルに格納される。
【００５８】
ステップ１０３） ステップ１０２で分割したショット毎に、構図情報抽出部１０３により、ショットの構図情報として抽出し、映像データベース１０８の映像管理テーブル及びラベル管理テーブルに格納する。
【００５９】
ステップ１０４） ステップ１０３で算出した構図情報を用い、ショットの分類部１０４によりショットの分類を行う。
【００６０】
上記のようにして得られ、映像データベース１０８の映像管理テーブルの例を図４、ラベル管理テーブルの例を図５に示す。また、上記のフローチャートで映像にラベルが付与されるイメージ図を図１０に示す。
【００６１】
次に、映像検索装置１００において、予め求めたショットの分類結果（ショットの分類ラベル）に基づいて、映像を検索する処理について説明する。
【００６２】
図１１は、本発明の一実施の形態における類似映像を検索する処理のフローチャートである。
【００６３】
ステップ２０１） 検索条件入力部１０５により、ユーザの検索意図を表す例示映像区間が指定される。このとき、検索対象映像の詳細条件が指定できるようにしてもよい。例えば、映像ジャンルやタイトル名、録画日時などの条件である。
【００６４】
ステップ２０２） 類似度算出部１０６は、映像データベース１０８から例示区間映像に対応する映像管理テーブルのLabel欄を参照し、ショットのラベル集合を求める。また、映像データベース１０８から検索対象となる候補映像のラベル集合を時系列に取得する。
【００６５】
ステップ２０３） 類似度算出部１０６は、例示映像区間におけるショットのラベル集合に基づき、検索窓幅を決定する。この検索窓幅は、映像区間同士を比較するために、検索対象映像の中から被検索映像区間を取得するためのものである。検索窓幅の決定方法としては、例えば、例示映像区間に含まれるショットラベルの個数や例示映像区間の時間幅を利用してもよい。
【００６６】
ステップ２０４） 類似度算出部１０６は、ステップ２０２で得られたラベル集合に対し、図１２に示すように、先頭から検索窓幅を設定し、ステップ２０３で決定した検索窓をかけ、検索窓内のショットラベル集合を得る。
【００６７】
ステップ２０５） 類似度算出部１０６は、ステップ２０３で得られる例示映像区間のショットラベル集合と、ステップ２０４から得られる被検索対象のショットラベル集合を元に、類似度を算出する。
【００６８】
ステップ２０６） 入力された検索対象映像が最後であるかを判断し、「はい」であれば、ステップ２０７に移行し、「いいえ」ならステップ２０４へ移行する。
【００６９】
ステップ２０７） 検索結果表示部１０７は、算出した類似度が高い順に、映像区間を表示手段に表示する。
【００７０】
本発明は、上記の映像検索装置の動作をプログラムとして構築し、映像検索装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００７１】
また、構築されたプログラムを、ハードディスクや、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【００７２】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００７３】
本発明は、映像区間の検出を行う技術に適用可能である。例えば、放送映像において番組の構成上、再現性がある、スポーツ競技のように、カメラの操作及び構図に類似性が見られる映像区間の検索に適用できる。
【図面の簡単な説明】
【００７４】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の一実施の形態における映像検索装置の構成図である。
【図４】本発明の一実施の形態における映像データベースの映像管理テーブルの例である。
【図５】本発明の一実施の形態における映像データベースのラベル管理テーブルの例である。
【図６】本発明の一実施の形態における映像再生装置による視聴映像の例である。
【図７】本発明の一実施の形態における例示映像区間を選択する画面例である。
【図８】本発明の一実施の形態におけるショット分類部の動作のフローチャートである。
【図９】本発明の一実施の形態における映像特徴情報（映像管理テーブル、ラベル管理テーブル）を生成する手順のフローチャートである。
【図１０】本発明の一実施の形態における映像にラベルを付与するイメージ図である。
【図１１】本発明の一実施の形態における類似映像を検索する処理のフローチャートである。
【図１２】本発明の一実施の形態における検索対象映像から被検索区間を求めるショットラベル集合を求める例である。
【符号の説明】
【００７５】
１００ 映像検索装置
１０１ 映像受付部
１０２ ショット分割手段、ショット分割部
１０３ 構図情報抽出手段、構図情報抽出部
１０４ ショット分類手段、ショット分類部
１０５ 検索条件入力部
１０６ 類似度算出手段、類似度算出部
１０７ 検索結果表示手段、検索結果表示部
１０８ 映像データベース
１１０ 外部情報記憶装置
１１１ 映像再生装置
【特許請求の範囲】
【請求項１】
ユーザが例示した映像区間と類似する映像区間を検索する映像検索方法であって、
ショット分割手段が、入力された映像の内容が変化した点で該映像を部分映像区間（以下、ショットと呼ぶ）に分割し、記憶手段に格納するショット分割ステップと、
構図情報抽出手段が、前記ショットから主な領域の特徴量である構図情報を抽出し、前記記憶手段に格納する構図情報抽出ステップと、
ショット分類手段が、前記構図情報に基づいて前記ショットを分類し、分類カテゴリ結果を前記記憶手段に格納するショット分類ステップと、
類似度算出手段が、前記ショット分類ステップで得られたショットの前記分類カテゴリ結果に基づいて、入力された例示映像区間と前記ショットの類似度を算出する類似度算出ステップと、
検索結果表示手段が、前記類似度に基づいて映像区間を出力する検索結果表示ステップと、
を行うことを特徴とする映像検索方法。
【請求項２】
前記ショット分類ステップにおいて、
未分類の入力ショットと前記分類済のショットを比較し、予め設定した閾値未満の場合、既存のショットカテゴリに未分類の入力ショットを分類し、閾値以上の場合は、新しい分類カテゴリに分類する、
請求項１記載の映像検索方法。
【請求項３】
ユーザが例示した映像区間と類似する映像区間を検索する映像検索装置であって、
入力された映像の内容が変化した点で該映像を部分映像区間（以下、ショットと呼ぶ）に分割し、記憶手段に格納するショット分割手段と、
前記ショットから主な領域の特徴量である構図情報を抽出し、記憶手段に格納する構図情報抽出手段と、
前記構図情報に基づいて前記記憶手段に格納されている前記ショットを分類し、分類カテゴリ結果を該記憶手段に格納するショット分類手段と、
前記ショット分類手段で得られたショットの前記分類カテゴリ結果に基づいて、入力された例示映像区間と前記ショットの類似度を算出する類似度算出手段と、
前記類似度に基づいて映像区間を出力する検索結果表示手段と、
を有することを特徴とする映像検索装置。
【請求項４】
前記ショット分類手段は、
未分類の入力ショットと前記分類済のショットを比較し、予め設定した閾値未満の場合、既存のショットカテゴリに未分類の入力ショットを分類し、閾値以上の場合は、新しい分類カテゴリに分類する手段を含む、
請求項３記載の映像検索装置。
【請求項５】
ユーザが例示した映像区間と類似する映像区間を検索する映像検索プログラムであって、
コンピュータを、
請求項３または４記載の映像装置として機能させることを特徴とする映像検索プログラム。
【請求項６】
ユーザが例示した映像区間と類似する映像区間を検索する映像検索プログラムを格納したコンピュータ読み取り可能な記録媒体であって、
コンピュータを、
請求項３または４記載の映像装置として機能させるプログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項１】
ユーザが例示した映像区間と類似する映像区間を検索する映像検索方法であって、
ショット分割手段が、入力された映像の内容が変化した点で該映像を部分映像区間（以下、ショットと呼ぶ）に分割し、記憶手段に格納するショット分割ステップと、
構図情報抽出手段が、前記ショットから主な領域の特徴量である構図情報を抽出し、前記記憶手段に格納する構図情報抽出ステップと、
ショット分類手段が、前記構図情報に基づいて前記ショットを分類し、分類カテゴリ結果を前記記憶手段に格納するショット分類ステップと、
類似度算出手段が、前記ショット分類ステップで得られたショットの前記分類カテゴリ結果に基づいて、入力された例示映像区間と前記ショットの類似度を算出する類似度算出ステップと、
検索結果表示手段が、前記類似度に基づいて映像区間を出力する検索結果表示ステップと、
を行うことを特徴とする映像検索方法。
【請求項２】
前記ショット分類ステップにおいて、
未分類の入力ショットと前記分類済のショットを比較し、予め設定した閾値未満の場合、既存のショットカテゴリに未分類の入力ショットを分類し、閾値以上の場合は、新しい分類カテゴリに分類する、
請求項１記載の映像検索方法。
【請求項３】
ユーザが例示した映像区間と類似する映像区間を検索する映像検索装置であって、
入力された映像の内容が変化した点で該映像を部分映像区間（以下、ショットと呼ぶ）に分割し、記憶手段に格納するショット分割手段と、
前記ショットから主な領域の特徴量である構図情報を抽出し、記憶手段に格納する構図情報抽出手段と、
前記構図情報に基づいて前記記憶手段に格納されている前記ショットを分類し、分類カテゴリ結果を該記憶手段に格納するショット分類手段と、
前記ショット分類手段で得られたショットの前記分類カテゴリ結果に基づいて、入力された例示映像区間と前記ショットの類似度を算出する類似度算出手段と、
前記類似度に基づいて映像区間を出力する検索結果表示手段と、
を有することを特徴とする映像検索装置。
【請求項４】
前記ショット分類手段は、
未分類の入力ショットと前記分類済のショットを比較し、予め設定した閾値未満の場合、既存のショットカテゴリに未分類の入力ショットを分類し、閾値以上の場合は、新しい分類カテゴリに分類する手段を含む、
請求項３記載の映像検索装置。
【請求項５】
ユーザが例示した映像区間と類似する映像区間を検索する映像検索プログラムであって、
コンピュータを、
請求項３または４記載の映像装置として機能させることを特徴とする映像検索プログラム。
【請求項６】
ユーザが例示した映像区間と類似する映像区間を検索する映像検索プログラムを格納したコンピュータ読み取り可能な記録媒体であって、
コンピュータを、
請求項３または４記載の映像装置として機能させるプログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００７−２００２４９（Ｐ２００７−２００２４９Ａ）
【公開日】平成１９年８月９日（２００７．８．９）
【国際特許分類】
【出願番号】特願２００６−２１１５５（Ｐ２００６−２１１５５）
【出願日】平成１８年１月３０日（２００６．１．３０）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成１９年８月９日（２００７．８．９）
【国際特許分類】
【出願日】平成１８年１月３０日（２００６．１．３０）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]