説明

動画像比較装置、動画像比較方法、及び動画像比較プログラム

【課題】動画像を比較することができる装置、方法、プログラムを提供する。
【解決手段】動画像比較装置は、第1の動画像を構成する複数の第1の静止画像の各々について算出された第1の特徴量を一の座標軸上に、第2の動画像を構成する複数の第2の静止画像の各々について算出された第2の特徴量を他の座標軸上に配置し、第1の特徴量のt番目の特徴量と第2の特徴量のu番目の特徴量とが等しい場合に座標(t−1,u−1)と座標(t,u)とを結ぶ経路を加えることにより形成されるグラフを作成するグラフ作成手段と、作成されたグラフの経路に基づいて、共通部分を取得する共通部分取得手段又は最短距離を算出する最短距離算出手段と、共通部分又は最短距離に基づいて第1の動画像と第2の動画像とに一致する部分があるか否かを判別する動画像判別手段と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画像比較装置、動画像比較方法、及び動画像比較プログラムに関する。
【背景技術】
【0002】
近年、ユーザが動画像を自由に投稿し、ネット上に発信できるサービスが普及しつつある。このサービスにおいては、ユーザが自分で撮影したオリジナルの動画像ばかりでなく、テレビ番組等から録画した映画、ドラマ、アニメ、CM等をそのまま或はその断片が著作権者に無断で投稿されることが多々ある。そのため、著作権者から侵害の申し立てなどが行われることにより、問題となる動画像は、迅速に削除されることになる。しかしながら、多数のユーザにより動画像が投稿されるために配信される動画像は数多く、著作権者は、その問題となる動画像を見つけ出すことが極めて難しい。
【0003】
更に、動画像から所定の部分を抜き出すアプリケーションなどが普及し、ユーザは、動画像の加工を容易に行えるようになった。これにより、著作権者は、ユーザにより投稿された動画像が自己の著作権に係る動画像であるか否かを容易に判別することができなくなっている。
【0004】
近時、自然言語処理技術などを活用した検索エンジンの進歩により、著作権者は、自己の著作権に係る文書を見つけ出すことが容易になった。また、見つけ出した文書と著作権に係る文書とに一致する箇所があるか否かを比較することができる技術も提案されている(例えば、非特許文献1)。この技術によれば、著作権者は、例えば、見つけ出した文書と著作権に係る文書とに一致する箇所があるか否かを容易に確認することができるようになる。
【非特許文献1】E.W.MYERS,“An O(ND) difference algorithm and its variations”,Algorithmixa,1(1986),pp.251−266
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、上記技術によれば、例えば、2つの文書に含まれる文字列の最長の共通部分列を算出することにより文書を比較できるが、動画像は、文字列により構成されるものではないことから、動画像を比較することができないという問題があった。更には、動画像を比較する術がないことから、ネット上に発信された所望する動画像を探し出すことができないという問題があった。
【0006】
そこで、本発明の目的は、動画像を比較することができる装置、方法、プログラムを提供することである。
【課題を解決するための手段】
【0007】
以上のような課題を解決すべく、本発明は、動画像比較装置、動画像比較方法、及び動画像比較プログラムにおいて、第1の動画像と第2の動画像とに一致する部分があるか否かを判別することを特徴とする。
【0008】
より具体的には、以下のようなものを提供する。
【0009】
(1) 複数の静止画像を含んで構成される動画像から、前記複数の静止画像の各々を抽出する静止画像抽出手段と、
前記複数の静止画像の各々について特徴量を算出する特徴量算出手段と、
前記静止画像抽出手段により第1の動画像から抽出された複数の静止画像について前記特徴量算出手段により算出された複数の第1の特徴量を一の座標軸上に、前記静止画像抽出手段により第2の動画像から抽出された複数の静止画像について前記特徴量算出手段により算出された複数の第2の特徴量を前記一の座標軸とは異なる他の座標軸上に配置してこれらの特徴量が等しいか否かを夫々比較し、そして等しい場合に座標(t−1,u−1)と座標(t,u)とを結ぶ経路を加えることにより形成されるグラフを作成するグラフ作成手段と(ここで、tは第1の特徴量のt番目、uは第2の特徴量のu番目を示す)、
前記グラフ作成手段により作成されたグラフの経路に基づいて、共通部分を取得する共通部分取得手段又は最短距離を算出する最短距離算出手段と、
前記共通部分取得手段により取得された共通部分又は前記最短距離算出手段により算出された最短距離に基づいて前記第1の動画像と前記第2の動画像とに一致する部分があるか否かを判別する動画像判別手段と、を備えたことを特徴とする動画像比較装置。
【0010】
(1)の構成によれば、第1の動画像から抽出された複数の第1の静止画像の各々について特徴量が算出され、第2の動画像から抽出された複数の第2の静止画像の各々について特徴量が算出される。そして、複数の第1の静止画像の各々について算出された特徴量と複数の第2の静止画像の各々について算出された特徴量とに基づいてグラフが作成される。
【0011】
作成されたグラフの経路に基づいて共通部分が求められた場合には、この共通部分に基づいて第1の動画像と第2の動画像とに一致する部分があるか否かが判別される。ここで、共通部分がある場合には、第1の動画像と第2の動画像とに一致する部分があり、共通部分がない場合には、第1の動画像と第2の動画像とに一致する部分がないので、上記構成によれば、共通部分に基づいて動画像を比較することができるようになる。
【0012】
他方、作成されたグラフの経路に基づいて最短距離が算出された場合には、この最短距離に基づいて第1の動画像と第2の動画像とに一致する部分があるか否かが判別される。ここで、最短距離は、第1の動画像と第2の動画像とが相対的に類似している程度を示す指標となっていることから、動画像判別手段は、最短距離から求められる後述の判定値が所定の値以上であれば、第1の動画像と第2の動画像とに一致する部分があると判別し、判定値が所定の値未満であれば、第1の動画像と第2の動画像とに一致する部分がないと判別する。このように判別することで、第1の動画像と第2の動画像とが全体的に類似しているかが分かるようになるので、例えば、特徴量の算出時に多少のノイズが入っていたとしてもこれらを判別できるようになる。
【0013】
(2) (1)に記載の動画像比較装置であって、
ユーザ端末により指定された第3の動画像を受付ける動画像受付手段と、
ネットワークを介して一又は複数の第4の動画像を公開する動画像公開装置から前記一又は複数の第4の動画像を取得する動画像取得手段と、
前記一又は複数の第4の動画像の各々について前記第3の動画像と一致する部分があるか否かが前記動画像判別手段により判別されたことを契機として、その判別結果を、前記ユーザ端末により出力可能な態様で送信する結果送信手段と、を備えたことを特徴とする動画像比較装置。
【0014】
(2)の構成によれば、動画像公開装置により公開される一又は複数の第4の動画像の各々について第3の動画像と一致する部分があるか否かが判別され、その結果がユーザ端末により出力される。したがって、この構成によれば、ユーザは、第3の動画像又はこれに類似する動画像が動画像公開装置により公開されているか否かを容易に把握することができるようになる。
【0015】
(3) (1)又は(2)に記載の動画像比較装置であって、
前記特徴量算出手段は、前記複数の静止画像の各々の差異から特徴量を算出することを特徴とする動画像比較装置。
【0016】
(3)の構成によれば、静止画像の不要な情報が排され、静止画像の固有の情報に基づいて特徴量が算出される。
【0017】
(4) 複数の静止画像を含んで構成される動画像から、前記複数の静止画像の各々を抽出する静止画像抽出ステップと、
前記複数の静止画像の各々について特徴量を算出する特徴量算出ステップと、
前記静止画像抽出ステップにより第1の動画像から抽出された複数の静止画像について前記特徴量算出ステップにより算出された複数の第1の特徴量を一の座標軸上に、前記静止画像抽出ステップにより第2の動画像から抽出された複数の静止画像について前記特徴量算出ステップにより算出された複数の第2の特徴量を前記一の座標軸とは異なる他の座標軸上に配置してこれらの特徴量が等しいか否かを夫々比較し、そして等しい場合に座標(t−1,u−1)と座標(t,u)とを結ぶ経路を加えることにより形成されるグラフを作成するグラフ作成ステップと(ここで、tは第1の特徴量のt番目、uは第2の特徴量のu番目を示す)、
前記グラフ作成ステップにより作成されたグラフの経路に基づいて、共通部分を取得する共通部分取得ステップ又は最短距離を算出する最短距離算出ステップと、
前記共通部分取得ステップにより取得された共通部分又は前記最短距離算出ステップにより算出された最短距離に基づいて前記第1の動画像と前記第2の動画像とに一致する部分があるか否かを判別する動画像判別ステップと、を備えたことを特徴とする動画像比較方法。
【0018】
(4)の構成によれば、動画像を比較することができる。
【0019】
(5) 複数の静止画像を含んで構成される動画像から、前記複数の静止画像の各々を抽出する静止画像抽出ステップと、
前記複数の静止画像の各々について特徴量を算出する特徴量算出ステップと、
前記静止画像抽出ステップにより第1の動画像から抽出された複数の静止画像について前記特徴量算出ステップにより算出された複数の第1の特徴量を一の座標軸上に、前記静止画像抽出ステップにより第2の動画像から抽出された複数の静止画像について前記特徴量算出ステップにより算出された複数の第2の特徴量を前記一の座標軸とは異なる他の座標軸上に配置してこれらの特徴量が等しいか否かを夫々比較し、そして等しい場合に座標(t−1,u−1)と座標(t,u)とを結ぶ経路を加えることにより形成されるグラフを作成するグラフ作成ステップと(ここで、tは第1の特徴量のt番目、uは第2の特徴量のu番目を示す)、
前記グラフ作成ステップにより作成されたグラフの経路に基づいて、共通部分を取得する共通部分取得ステップ又は最短距離を算出する最短距離算出ステップと、
前記共通部分取得ステップにより取得された共通部分又は前記最短距離算出ステップにより算出された最短距離に基づいて前記第1の動画像と前記第2の動画像とに一致する部分があるか否かを判別する動画像判別ステップと、をコンピュータに実行させることを特徴とする動画像比較プログラム。
【0020】
(5)の構成によれば、動画像を比較することができる。
【発明の効果】
【0021】
本発明によれば、動画像を比較することができる。
【発明を実施するための最良の形態】
【0022】
以下、本発明の実施の形態について図1〜図7を例に挙げて説明する。
【0023】
[動画像比較システム1の構成]
図1を参照して、動画像比較システム1の構成を説明する。
【0024】
図1に示すように、動画像比較システム1は、動画像比較装置10、ユーザ端末21、動画像公開装置22、及びネットワーク23から構成されている。動画像比較システム1では、ネットワーク23を介して、動画像比較装置10、ユーザ端末21、及び動画像公開装置22が相互に通信可能に構成されている。
【0025】
ユーザ端末21は、インターネット上で公開されている文書、画像、動画像などのコンテンツを表示させるためのウェブページをユーザが検索、閲覧等することができるように構成されている。また、ユーザ端末21は、ユーザの指示に応答して、動画像X(即ち、動画像Xに係る情報)などを動画像比較装置10に送信する。
【0026】
動画像公開装置22は、複数の動画像の情報を格納している。動画像公開装置22は、外部(例えば、ユーザ端末21)からの要求に応じて動画像を操作(例えば、格納している動画像からその要求に応じた動画像を取得)して、要求元に要求に応じたデータを送信する。言い換えるならば、動画像公開装置22は、ネットワークを介して複数の動画像を公開する。なお、動画像比較装置10では、動画像公開装置22が有する複数の動画像と動画像Xとの比較を行うこともできるが、以下では、動画像Yに着目して実施の形態を説明する。
【0027】
[動画像比較装置10の構成]
動画像比較装置10は、動画像受付手段11、動画像取得手段12、静止画像抽出手段13、特徴量算出手段14、グラフ作成手段15、共通部分取得手段16、最短距離算出手段17、動画像判別手段18、及び結果送信手段19を備えている。なお、動画像比較装置10は、共通部分取得手段16、最短距離算出手段17の両方を備えてもよいし、何れか一方を備えてもよい。
【0028】
動画像受付手段11は、ユーザにより指定された動画像X、動画像Xが公開されているか否かを判別する対象の動画像公開装置22の情報を受付ける。より詳細には、動画像受付手段11は、ネットワーク23を介して通信可能なユーザ端末21から送信された動画像X、動画像Xが公開されているか否かを判別する対象の動画像公開装置22のアドレスを受信する。
【0029】
動画像取得手段12は、ネットワーク23を介して通信可能な動画像公開装置22が有する動画像Yを取得する。より詳細には、動画像取得手段12は、動画像受付手段11が受信したアドレスに対応した動画像公開装置22から公開されている動画像Yを取得する。なお、動画像取得手段12は、動画像受付手段11がアドレスを受信する構成に加えて、又はこれに代えて、予め定められたアドレスに基づいて、予め定められたアドレスに対応する動画像公開装置22が有する動画像を取得する構成を備えてもよい。
【0030】
静止画像抽出手段13は、動画像受付手段11が受信した動画像Xから動画像Xを構成する静止画像(いわゆるフレーム画像)を抽出する。抽出した静止画像の例については、後述の図2を参照して説明する。更に、静止画像抽出手段13は、動画像取得手段12が取得した動画像Yから動画像Yを構成する静止画像を抽出する。即ち、静止画像抽出手段13は、複数の静止画像を含んで構成される動画像から、複数の静止画像の各々を抽出する。
【0031】
特徴量算出手段14は、静止画像抽出手段13により抽出された静止画像について特徴量を算出する。特徴量は、静止画像の特徴を数値として表したものである。例えば、特徴量は、静止画像中で使用されている代表色とその色の割合、色の配置(言い換えるならば、色の分布)などを表す数値、静止画像が有するパターンの規則性、方向性などを表す数値、静止画像で使用されている特徴のある形状を表す数値、又はこれらの組合せである。故に、特徴量には、例えば、ある明るさ以上の濃度値の画素を「1」として、静止画像の各画素を数値化してそれらの総和を画素数で除した数値など、適宜加工したものが含まれる。
【0032】
グラフ作成手段15は、特徴量算出手段14により算出された特徴量に基づいてグラフを作成する。より詳細には、静止画像抽出手段13により動画像X(第1の動画像)から抽出された複数の静止画像の各々について特徴量算出手段14により第1の特徴量が算出され、静止画像抽出手段13により動画像Y(第2の動画像)から抽出された複数の静止画像の各々について特徴量算出手段14により第2の特徴量が算出された場合に、グラフ作成手段15は、第1の特徴量を一の座標軸上に、第2の特徴量を一の座標軸とは異なる他の座標軸上に配置し、第1の特徴量のうちt番目の特徴量と第2の特徴量のうちu番目の特徴量とが等しい場合には、座標(t−1,u−1)と座標(t,u)とを結ぶ経路を加えることにより形成されるグラフを作成する。
【0033】
共通部分取得手段16は、第1の特徴量と第2の特徴量との共通部分を取得する。より詳細には、共通部分取得手段16は、グラフ作成手段15により作成されたグラフの経路に基づいて第1の特徴量と第2の特徴量との共通部分を取得する。なお、共通部分については、後述の図4を参照して詳細に説明する。
【0034】
ここで、複数の第1の静止画像が第1の動画像を構成する順序に対応して第1の特徴量を第1の配列に記憶し、複数の第2の静止画像が第2の動画像を構成する順序に対応して第2の特徴量を上記第1の配列とは異なる第2の配列に記憶する特徴量記憶手段が設けられ、共通部分取得手段16は、第1の配列、第2の配列の両者の共通部分を取得するものであってもよい。
【0035】
最短距離算出手段17は、グラフ作成手段15により作成されたグラフの経路に基づいて最短距離を算出する。なお、最短距離は、最長共通部分(LCS:Longuest Common Subsequence)、最小エディット距離(SED:Shotest Edit Distance)などにより求めることができる。なお、最短距離については、後述の図4を参照して詳細に説明する。
【0036】
動画像判別手段18は、共通部分取得手段16により取得された共通部分に基づいて動画像Xと動画像Yとに一致する部分があるか否かを判別する。より詳細には、動画像判別手段18は、取得された共通部分の個数、取得された共通部分の長さ、又はこれらの組合せに応じて動画像Xと動画像Yとに一致する部分があるか否かを判別する。更に、動画像判別手段18は、最短距離算出手段17により算出された最短距離に基づいて動画像Xと動画像Yとに一致する部分があるか否かを判別する。
【0037】
結果送信手段19は、動画像Yについて動画像Xと一致する部分があるか否かが動画像判別手段18により判別されたことを条件に、その判別結果を、ユーザ端末21により出力可能な態様で送信する。
【0038】
次に、動画像比較システム1における主たる処理について説明する。動画像比較システム1では、基本的に、ユーザ端末21による動画像Xに係る検索要求の検出を契機として一連の処理が開始する。
【0039】
ユーザ端末21は、動画像Xに基づく検索の要求をユーザが行う操作(以下「検索要求操作」という)を検出する。ユーザ端末21は、検索要求操作を検出すると、動画像Xに関連する動画像の情報を取得するための検索要求データを動画像比較装置10に送信する。なお、検索要求データには、動画像Xの情報、動画像Xに関する情報(例えば、動画像公開装置22のアドレス)などが含まれている。
【0040】
動画像比較装置10は、検索要求データを受信すると、検索要求データに含まれる情報(言い換えるならば、ユーザ端末21を用いてユーザにより指定された動画像公開装置22のアドレス)に基づいて、動画像公開装置22から動画像Yを取得する。このとき、動画像が複数ある場合には、複数の動画像を順次取得してもよい。他方、検索の頻度が高い動画像公開装置22に対しては、動画像比較装置10は、動画像公開装置22と同期をとり、動画像を予め取得する構成としてもよい。更に、この場合には、各動画像を構成する静止画像の特徴量を予め算出しておくことが好ましい。
【0041】
動画像比較装置10は、動画像Xと動画像Yとを比較し、結果データを生成する。動画像比較装置10は、結果データを生成すると、結果データをユーザ端末21に送信する。このとき、動画像Xの一部或は全部が含まれる動画像が複数ある場合には、これらが集約された結果データが生成される。なお、結果データの生成は、リアルタイムで行われているが、これに限られず、バッチ処理で行われてもよい。バッチ処理で行われるときには、ユーザのメールアドレスを予め取得して、結果データをそのメールアドレスに対して送信してもよいし、予め定めたウェブページに結果データに応じた画面を表示する構成を採用してもよい。
【0042】
ユーザ端末21は、結果データを受信すると、結果データに応じた画面を表示する。より詳細には、ユーザ端末21には、動画像Xに関連する情報が集約された態様で表示されると共に、動画像Xに関連する動画像を参照できる態様で表示される。なお、動画像Xに関連する動画像を参照できる態様に代えて、動画像Xに関連するウェブページが閲覧され得る態様(例えば、ユーザが動画像Xに関連するウェブページを閲覧するためのリンクが表示される態様)を採用してもよい。このように、動画像比較システム1では一連の処理が行われる。なお、ユーザ端末21により出力される画面の例については後述の図5を参照して説明する。
【0043】
[動画像の構成]
図2及び図3を参照して、動画像Xの構成を説明する。なお、図2及び図3には、動画像Xを構成する構成要素の一部が例として挙げられている。
【0044】
図2に示すように、動画像Xは、基本的に、複数の静止画像により構成されている。ただし、動画像Xは、静止画像と音声とが同期したものであってもよい。動画像Xによれば、フレーム1に対応する静止画像からフレーム6に対応する静止画像を素早く切り替える(例えば、1秒間に30回、静止画像を順次切り替える)ことで動きが表現される。
【0045】
他方、動画像Xが複数の静止画像を含んで構成されることにより動画像Xのデータ量が大きくなることを極力防止するために、例えば、図3の(1)及び(2)に示す静止画像は、図3の(3)及び(4)に示すように圧縮されている。
【0046】
図3の(1)及び(2)には、フレーム7及びフレーム8に対応する静止画像(言い換えるならば、動画像Xを構成する一続きの静止画像)が示されている。フレーム7(前フレーム)に対応する静止画像とフレーム8(後フレーム)に対応する静止画像とでは、背景部分の絵柄31についての変化は殆どない。これに対し、人間32の位置などは異なっている。そこで、絵柄31(即ち、変化しない部分)については、前フレームに対応する静止画像と同じであるという情報を記憶し、人間32(即ち、変化がある部分)については、どの方向にどれだけの距離を移動したかという情報を記憶する処理(いわゆる動き補償)が行われる。なお、動画像Yの構成については、動画像Xと同様の構成を有しているため説明は省略する。
【0047】
このようなことから、動画像Xを構成する複数の静止画像の各々についての特徴量は、複数の静止画像そのものから算出されてもよいし、動画像Xの特質を利用して(例えば、複数の静止画像の各々の差異から)算出されてもよい。動画像Xの特質を利用して特徴量が算出される構成によれば、静止画像の不要な情報が排され、静止画像の固有の情報に基づいて特徴量が算出される。したがって、この構成によれば、静止画像そのものについての特徴量の算出と比べて、特徴量の算出に係る負担を低減することができる場合がある。更には、上記構成により算出される特徴量は、静止画像そのものについての特徴量と比べて、静止画像の特徴をより正確に示すものとなる場合がある。
【0048】
図4の(1)を参照して、共通部分を取得する例について説明する。図4の(1)には、動画像Xを構成する複数の静止画像の各々が有する特有の要素(例えば、動画像Xを構成する複数の静止画像の各々についての特徴量)をX軸上に配置し、動画像Yを構成する複数の静止画像の各々が有する特有の要素(例えば、動画像Yを構成する複数の静止画像の各々についての特徴量)をY軸上に配置し、それらの交点を(0,0)とした座標系が示されている。なお、図4の(2)に示す座標系についても同様である。
【0049】
この座標系では、動画像Xのt番目の要素と動画像Yのu番目の要素とが等しい場合に、座標(t−1,u−1)と座標(t,u)とを結ぶ経路が加えられる。例えば、動画像Xの1番目の要素「F」に着目してみると、動画像Xの1番目の要素「F」と等しいのは動画像Yの7番目の要素「F」であることから、座標(0,6)と座標(1,7)とを結ぶ経路が加えられる。そして、全ての要素について同様に操作すると、図4の(1)に示すグラフが作成される。
【0050】
ここで作成されたグラフにおいて注目すべきは、動画像Xを構成する静止画像のうち連続する3つの静止画像について算出された特徴量「F」、「H」、「A」が動画像Yを構成する各静止画像について算出された特徴量と一致していることを示す連続した経路である部分33があるということである。これは、動画像Yが動画像Xの一部を含んで構成されていることを示唆している。なお、動画像Xを構成する静止画像のうち連続する4つの静止画像について算出された特徴量「B」、「C」、「E」、「H」が動画像Yを構成する各静止画像について算出された特徴量と一致していることを示す連続した経路である部分34についても同様のことが言える。ここで、動画像Xを構成する静止画像のうち連続する複数の静止画像について算出された特徴量が動画像Yを構成する連続した静止画像についての特徴量と一致する部分を「共通部分」という。
【0051】
実施の形態では、共通部分である部分33は、連続する3つの静止画像を示していることから、その長さを、「3」とする。このように、共通部分の長さを規定すると、共通部分の長さは、動画像Xと動画像Yとが類似する度合を示すものとなる。他方、部分33及び部分34がある場合には、部分33(又は、部分34)が1つである場合と比べて、動画像Xと動画像Yとが類似する度合が高いことを示すものとなる。即ち、共通部分の長さ及び個数に基づいて、動画像Xと動画像Yとが類似する度合を特定することができる。
【0052】
これらを踏まえると、動画像Xを構成する複数の静止画像の各々について算出された特徴量と動画像Yを構成する複数の静止画像の各々について算出された特徴量との共通部分が求められた場合には、この共通部分に基づいて動画像Xと動画像Yとに一致する部分があるか否かを判別できる。即ち、共通部分がある場合(上記の例で言うならば、共通部分の長さが特定の値以上である場合)には、動画像Xと動画像Yとに一致する部分があり、共通部分がない場合(上記の例で言うならば、共通部分の長さが特定の値未満である場合)には、動画像Xと動画像Yとに一致する部分がないことによれば、共通部分に基づいて動画像を比較することができる。
【0053】
図4の(2)を参照して、最短距離を算出する例について説明する。図4の(2)には、上記グラフが作成されて各経路が設定された場合に、座標(0,0)と座標(10,15)との最短の距離を示す最短経路35が示されている。なお、最短経路35は、一般に複数あり得るが、この問題では、長さを算出することを目的としているため、それらの経路を区別しない。
【0054】
実施の形態では、座標(t,u)から座標(t+1,u)又は座標(t,u+1)への移動を距離「1」、座標(t,u)から座標(t+1,u+1)への移動を距離「0」とする。言い換えるならば、縦又は横方向への移動を距離「1」とし、対角線方向への移動を距離「0」とする。この場合、最短距離は、「11」となる。このように、作成されたグラフの経路に基づいて最短距離を算出することができるようになる。他方、動画像Xを構成する静止画像の数と動画像Yを構成する静止画像の数とを加算した値から最短距離を減算した値を「2」で除した値を、動画像Xを構成する静止画像の数で除した値を算出する。この例での値は、「((10+15)−11)/2/10=0.7」となる。このように、最短距離に基づいて算出され、動画像Xと動画像Yとが類似する度合を示す値を以下「判定値」という。このとき、判定値が所定の値(例えば、「0.1」)以上であれば、動画像Xと動画像Yとに一致する部分があると判別され、判定値が所定の値未満であれば、動画像Xと動画像Yとに一致する部分がないと判別される。更に、判定値が特定の値(例えば、「0.9」)以上であれば、動画像Xと動画像Yとが一致すると判別される。なお、上述した判定値の算出の方法は一例である。
【0055】
これらを踏まえると、動画像Xを構成する複数の静止画像の各々について算出された特徴量と動画像Yを構成する複数の静止画像の各々について算出された特徴量から最短距離が算出された場合には、この最短距離に基づいて動画像Xと動画像Yとに一致する部分があるか否かを判別できる。即ち、最短距離は、動画像Xと動画像Yとが相対的に類似している程度を示す指標となっていることから、判定値が所定の値以上であれば、動画像Xと動画像Yとに一致する部分があると判別し、判定値が所定の値未満であれば、動画像Xと動画像Yとに一致する部分がないと判別することができる。このように判別することで、動画像Xと動画像Yとが全体的に類似しているかが分かるようになので、例えば、特徴量の算出時に多少のノイズが入っていたとしてもこれらの動画像に一致する部分があるか否かを判別できるようになる。
【0056】
[ユーザ端末21により出力される画面の例]
図5を参照して、ユーザ端末21により出力される画面の例について説明する。図5には、結果データに応じた画面の一例である結果表示画面40が示されている。結果表示画面40は、主に、動画像タイトル41、類似度合表示部42、類似位置表示部43、動画像出力部44、動画像再生ボタン45、及びプログレスバー46で構成されている。
【0057】
動画像タイトル41は、動画像Xに基づいて検索された動画像に付されたタイトルである。類似度合表示部42は、検索された動画像が動画像Xと類似する度合を示す表示部である。類似する度合は、判定値に基づいて算出される。例えば、類似する度合は、判定値を100倍して算出される。類似位置表示部43は、検索された動画像のうち動画像Xと一致する部分を示す一致部43aと一致しない部分を示す不一致部43bとで構成されている。これにより、ユーザは、この類似位置表示部43を参照して、検索された動画像のうち動画像Xに一致する部分を容易に把握することができるようになる。
【0058】
動画像出力部44は、例えば、ストリーミングの技術を利用して、検索された動画像を出力する。動画像再生ボタン45は、動画像を再生するときに操作されるボタンである。言い換えるならば、動画像再生ボタン45が操作されることにより、動画像出力部44による動画像の出力が開始する。プログレスバー46は、動画像の出力が完了した割合を棒グラフにて表すと共に、現在、動画像の出力が行われている地点を表す。したがって、プログレスバー46を一致部43aに合わせることにより、検索された動画像のうち動画像Xに一致する部分を容易に確認することができるようになる。
【0059】
他方、結果表示画面40には、動画像Xに関連する動画像の情報が集約された態様で示されている。集約された態様は、例えば、検索された動画像ごとに表示された、動画像タイトル41、類似度合表示部42、及び類似位置表示部43などの態様である。これらは、ユーザが認識し易いように識別され、整列されている。例えば、検索の結果は、動画像Xに類似する度合の降順にソートされている。
【0060】
このように、検索された動画像が複数存在する場合であったとしても、これらに対する結果が集約され、整列され、更には、識別された態様で表示されているので、検索された結果の中から確認したい動画像を探さがなければならないというユーザの手間を省くことができるようになる。
【0061】
なお、動画像を再生する構成に加えて、又はこれに代えて、検索された動画像の照会部(例えば、リンク)を設け、ユーザが後述の入力手段を用いて照会部を指定すると、当該動画像を参照できるウェブページがユーザ端末21に表示される構成を採用してもよい。
【0062】
[動画像比較装置10の動作]
図6を参照して、動画像比較装置10で実行される主たる処理について説明する。
【0063】
初めに、動画像比較装置10は、動画像X及び動画像Yから夫々静止画像を抽出する(S1)。
【0064】
続いて、動画像比較装置10は、抽出した静止画像を前処理する(S2)。前処理では、動画像比較装置10は、静止画像のうち有用な情報を強調する処理、静止画像が同一の条件となるような処理などを行う。例えば、動画像比較装置10は、多値画像から2値画像に変換し、図形、文字などの骨格線を抽出する(いわゆる細線化操作)。また、動画像比較装置10は、静止画像の拡大若しくは縮小を行う(いわゆる正規化操作)。これにより、大きさに無関係に静止画像から特徴量を算出することができる。動画像比較装置10は、その他、静止画像の平行移動や回転、更に、静止画像の濃度変換に関する操作を行ってもよい。
【0065】
続いて、動画像比較装置10は、特徴抽出を行う(S3)。この処理では、動画像比較装置10は、特徴量を算出し易い様に、例えば、静止画像の不連続部分をエッジとして抽出し、このエッジを境界線として静止画像をいくつかの連続領域に分割する。そして、動画像比較装置10は、動画像Xを構成する各静止画像の各画素或は所定の領域について特徴量を算出し、動画像Yを構成する各静止画像の各画素或は所定の領域について特徴量を算出する。
【0066】
続いて、動画像比較装置10は、静止画像の比較を行う(S4)。より詳細には、動画像比較装置10は、動画像Xを構成する各静止画像について算出された特徴量を動画像Xが構成される順序でX軸上に配置し、動画像Yを構成する各静止画像について算出された特徴量を動画像Yが構成される順序でY軸上に配置する。そして、動画像比較装置10は、図4を参照して説明したグラフを作成する。なお、特徴量の比較に加えて、又はこれに代えて、いわゆるパターンマッチングなどにより、動画像Xを構成する各静止画像と動画像Yを構成する各静止画像とが一致するか否かを判別してもよい。
【0067】
続いて、動画像比較装置10は、最短距離等を算出する(S5)。より詳細には、動画像比較装置10は、作成したグラフの経路から、共通部分を取得すると共に、最長の共通部分列を求めてこれを最短距離とする。
【0068】
続いて、動画像比較装置10は、動画像X及び動画像Yに一致する部分があるか否かを最短距離等に基づいて判別する(S5)。より詳細には、動画像比較装置10は、共通部分、最短距離、又はこれらの組合せに基づいて動画像X及び動画像Yに一致する部分があるか否かを判別する。
【0069】
このようなことから、動画像比較装置10は、複数の静止画像を含んで構成される動画像から、複数の静止画像の各々を抽出する静止画像抽出手段13と、複数の静止画像の各々について特徴抽出を行う特徴抽出手段と、静止画像抽出手段13により第1の動画像から抽出された複数の第1の静止画像の各々について上記特徴抽出手段により特徴抽出が行われ、静止画像抽出手段13により第2の動画像から抽出された複数の第2の静止画像の各々について上記特徴抽出手段により特徴抽出が行われた場合に、これらの特定抽出の結果に基づいて、上記複数の第1の静止画像の各々と上記複数の第2の静止画像の各々とを比較する静止画像比較手段と、この静止画像比較手段による比較の結果に基づいて第1の動画像と第2の動画像とに一致する部分があるか否かを判別する動画像判別手段18と、を備えているとも言える。
【0070】
[サーバのハードウェアの構成]
図7は、動画像比較装置10及び動画像公開装置22(以下「サーバ」という)のハードウェアの構成を示す図である。制御部を構成するCPU110(マルチプロセッサ構成ではCPU120等複数のCPUが追加されてもよい)、バスライン105、通信I/F140、メインメモリ150、BIOS160、USBポート190、I/Oコントローラ170、並びにキーボード及びマウス180等の入力手段や表示装置122を備える。
【0071】
I/Oコントローラ170には、テープドライブ172、ハードディスク174、光ディスクドライブ176、半導体メモリ178等の記憶手段を接続することができる。
【0072】
BIOS160は、サーバの起動時にCPU110が実行するブートプログラムや、サーバのハードウェアに依存するプログラム等を格納する。
【0073】
ハードディスク174は、サーバとして機能するための各種プログラム及び本実施の形態の機能を実行するプログラムを記憶しており、更に必要に応じて各種データベースを構成可能である。
【0074】
光ディスクドライブ176としては、例えば、DVD−ROMドライブ、CD−ROMドライブ、DVD−RAMドライブ、CD−RAMドライブを使用することができる。この場合は各ドライブに対応した光ディスク177を使用する。光ディスク177から光ディスクドライブ176によりプログラム又はデータを読み取り、I/Oコントローラ170を介してメインメモリ150又はハードディスク174に提供することもできる。また、同様にテープドライブ172に対応したテープメディア171を主としてバックアップのために使用することもできる。
【0075】
サーバに提供されるプログラムは、ハードディスク174、光ディスク177、又はメモリーカード等の記録媒体に格納されて提供される。このプログラムは、I/Oコントローラ170を介して、記録媒体から読み出され、又は通信I/F140を介してダウンロードされることによって、サーバにインストールされ実行されてもよい。
【0076】
上述のプログラムは、内部又は外部の記憶媒体に格納されてもよい。ここで、記憶媒体としては、ハードディスク174、光ディスク177、又はメモリーカードの他に、MD等の光磁気記録媒体、テープメディア171を用いることができる。また、専用通信回線やインターネット等の通信回線に接続されたサーバシステムに設けたハードディスク174又は光ディスクライブラリ等の記憶装置を記録媒体として使用し、インターネットを介してプログラムをサーバに提供してもよい。
【0077】
ここで、表示装置122は、各種画面を表示したり、サーバによる演算処理結果の画面を表示したりするものであり、ブラウン管表示装置(CRT)、液晶表示装置(LCD)等のディスプレイ装置を含む。
【0078】
また、通信I/F140は、サーバをネットワーク23(例えば、専用ネットワーク、公共ネットワークなど)を介してユーザ端末21と接続できるようにするためのネットワーク・アダプタである。通信I/F140は、モデム、ケーブル・モデム及びイーサネット(登録商標)・アダプタを含んでよい。
【0079】
以上の例は、サーバについて主に説明したが、コンピュータに、プログラムをインストールして、そのコンピュータをサーバとして動作させることにより上記で説明した機能を実現することもできる。したがって、本実施の形態として説明したサーバにより実現される機能は、上述の方法を当該コンピュータにより実行することにより、或は、上述のプログラムを当該コンピュータに導入して実行することによっても実現可能である。
【0080】
以上、実施の形態について説明したが、本発明は上述した実施の形態に限られるものではない。また、本発明による効果は、実施の形態に記載されたものに限定されるものではない。
【図面の簡単な説明】
【0081】
【図1】動画像比較システムの構成を示す図。
【図2】動画像の構成を示す図。
【図3】動画像の構成を示す図。
【図4】(1)は共通部分を取得する例、(2)は最短距離を算出する例を示す図。
【図5】ユーザ端末により出力される画面の例を示す図。
【図6】動画像比較装置で実行される主たる処理を示すフローチャート。
【図7】サーバのハードウェアの構成を示す図。
【符号の説明】
【0082】
1 動画像比較システム
10 動画像比較装置
11 動画像受付手段
12 動画像取得手段
13 静止画像抽出手段
14 特徴量算出手段
15 グラフ作成手段
16 共通部分取得手段
17 最短距離算出手段
18 動画像判別手段
19 結果送信手段
21 ユーザ端末
22 動画像公開装置
23 ネットワーク

【特許請求の範囲】
【請求項1】
複数の静止画像を含んで構成される動画像から、前記複数の静止画像の各々を抽出する静止画像抽出手段と、
前記複数の静止画像の各々について特徴量を算出する特徴量算出手段と、
前記静止画像抽出手段により第1の動画像から抽出された複数の静止画像について前記特徴量算出手段により算出された複数の第1の特徴量を一の座標軸上に、前記静止画像抽出手段により第2の動画像から抽出された複数の静止画像について前記特徴量算出手段により算出された複数の第2の特徴量を前記一の座標軸とは異なる他の座標軸上に配置してこれらの特徴量が等しいか否かを夫々比較し、そして等しい場合に座標(t−1,u−1)と座標(t,u)とを結ぶ経路を加えることにより形成されるグラフを作成するグラフ作成手段と(ここで、tは第1の特徴量のt番目、uは第2の特徴量のu番目を示す)、
前記グラフ作成手段により作成されたグラフの経路に基づいて、共通部分を取得する共通部分取得手段又は最短距離を算出する最短距離算出手段と、
前記共通部分取得手段により取得された共通部分又は前記最短距離算出手段により算出された最短距離に基づいて前記第1の動画像と前記第2の動画像とに一致する部分があるか否かを判別する動画像判別手段と、を備えたことを特徴とする動画像比較装置。
【請求項2】
請求項1に記載の動画像比較装置であって、
ユーザ端末により指定された第3の動画像を受付ける動画像受付手段と、
ネットワークを介して一又は複数の第4の動画像を公開する動画像公開装置から前記一又は複数の第4の動画像を取得する動画像取得手段と、
前記一又は複数の第4の動画像の各々について前記第3の動画像と一致する部分があるか否かが前記動画像判別手段により判別されたことを契機として、その判別結果を、前記ユーザ端末により出力可能な態様で送信する結果送信手段と、を備えたことを特徴とする動画像比較装置。
【請求項3】
請求項1又は2に記載の動画像比較装置であって、
前記特徴量算出手段は、前記複数の静止画像の各々の差異から特徴量を算出することを特徴とする動画像比較装置。
【請求項4】
複数の静止画像を含んで構成される動画像から、前記複数の静止画像の各々を抽出する静止画像抽出ステップと、
前記複数の静止画像の各々について特徴量を算出する特徴量算出ステップと、
前記静止画像抽出ステップにより第1の動画像から抽出された複数の静止画像について前記特徴量算出ステップにより算出された複数の第1の特徴量を一の座標軸上に、前記静止画像抽出ステップにより第2の動画像から抽出された複数の静止画像について前記特徴量算出ステップにより算出された複数の第2の特徴量を前記一の座標軸とは異なる他の座標軸上に配置してこれらの特徴量が等しいか否かを夫々比較し、そして等しい場合に座標(t−1,u−1)と座標(t,u)とを結ぶ経路を加えることにより形成されるグラフを作成するグラフ作成ステップと(ここで、tは第1の特徴量のt番目、uは第2の特徴量のu番目を示す)、
前記グラフ作成ステップにより作成されたグラフの経路に基づいて、共通部分を取得する共通部分取得ステップ又は最短距離を算出する最短距離算出ステップと、
前記共通部分取得ステップにより取得された共通部分又は前記最短距離算出ステップにより算出された最短距離に基づいて前記第1の動画像と前記第2の動画像とに一致する部分があるか否かを判別する動画像判別ステップと、を備えたことを特徴とする動画像比較方法。
【請求項5】
複数の静止画像を含んで構成される動画像から、前記複数の静止画像の各々を抽出する静止画像抽出ステップと、
前記複数の静止画像の各々について特徴量を算出する特徴量算出ステップと、
前記静止画像抽出ステップにより第1の動画像から抽出された複数の静止画像について前記特徴量算出ステップにより算出された複数の第1の特徴量を一の座標軸上に、前記静止画像抽出ステップにより第2の動画像から抽出された複数の静止画像について前記特徴量算出ステップにより算出された複数の第2の特徴量を前記一の座標軸とは異なる他の座標軸上に配置してこれらの特徴量が等しいか否かを夫々比較し、そして等しい場合に座標(t−1,u−1)と座標(t,u)とを結ぶ経路を加えることにより形成されるグラフを作成するグラフ作成ステップと(ここで、tは第1の特徴量のt番目、uは第2の特徴量のu番目を示す)、
前記グラフ作成ステップにより作成されたグラフの経路に基づいて、共通部分を取得する共通部分取得ステップ又は最短距離を算出する最短距離算出ステップと、
前記共通部分取得ステップにより取得された共通部分又は前記最短距離算出ステップにより算出された最短距離に基づいて前記第1の動画像と前記第2の動画像とに一致する部分があるか否かを判別する動画像判別ステップと、をコンピュータに実行させることを特徴とする動画像比較プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate